теория информации и измерение текста


теория информации и измерение текста
Теория информации (информатика) ориентирована не на содержательную сторону передачи и хранения информации, а на ее статистическую структуру. Статистическая структура текста понимается как частота появления в сообщении сигнала (символа) (это вероятность, обозначаемая знаком р и сочетаний сигналов – условная вероятность, обозначаемая pi). При многократном повторении сигнала важно определить количество информации, передаваемой сигналом. Количество информации приравнивается к мере недостающей информации, т.е. к величине неопределенности. Такое количество информации называется энтропией. Она характеризует ситуацию перед получением сигнала в большей степени, чем сам сигнал. Неопределенность ситуации, а вместе с нею и количество информации возрастает с увеличением числа сигналов. При одинаковом числе сигналов неопределенность наибольшая в том случае, если вероятность появления всех сигналов равновероятна.
Величина неопределенности Н связана с вероятностями по формуле
H = -Σp(i)log2p(i)
где вероятность сигнала i обозначена через p(i), i принимает значение 1, 2 ... n;
Σ – знак суммы [р(1) log2 p(l)+p(2)log2 р(2)+.. +р(n) log2 р(n)].

Словарь лингвистических терминов: Изд. 5-е, испр-е и дополн. — Назрань: Изд-во "Пилигрим". . 2010.

Смотреть что такое "теория информации и измерение текста" в других словарях:

  • Энтропия (теория информации) — Энтропия (информационная)  мера хаотичности информации, неопределённость появления какого либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения. Например, в… …   Википедия

  • Информация — (Information) Информация это сведения о чем либо Понятие и виды информации, передача и обработка, поиск и хранение информации Содержание >>>>>>>>>>>> …   Энциклопедия инвестора

  • ЭСТЕТИКА — (от греч. aisthetikos чувствующий, чувственный) филос. дисциплина, изучающая природу всего многообразия выразительных форм окружающего мира, их строение и модификацию. Э. ориентирована на выявление универсалий в чувственном восприятии… …   Философская энциклопедия

  • Информация — I Информация (от лат. informatio разъяснение, изложение)         первоначально сведения, передаваемые одними людьми другим людям устным, письменным или каким либо другим способом (например, с помощью условных сигналов, с использованием… …   Большая советская энциклопедия

  • Информационная энтропия — Информационная энтропия  мера неопределённости или непредсказуемости информации, неопределённость появления какого либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ… …   Википедия

  • Условная энтропия — Энтропия (информационная)  мера хаотичности информации, неопределённость появления какого либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения. Например, в… …   Википедия

  • КОГЕН — (Cohen) Герман (1842 1918) немецкий философ, основатель и виднейший представитель марбургской школы неокантианства. Основные работы: ‘Теория опыта Канта’ (1885), ‘Обоснование Кантом этики’ (1877), ‘Обоснование Кантом эстетики’ (1889), ‘Логика… …   История Философии: Энциклопедия

  • Медицина — I Медицина Медицина система научных знаний и практической деятельности, целями которой являются укрепление и сохранение здоровья, продление жизни людей, предупреждение и лечение болезней человека. Для выполнения этих задач М. изучает строение и… …   Медицинская энциклопедия

  • Вселенная — Крупномасштабная структура Вселенной как она выглядит в инфракрасных лучах с длиной волны 2,2 мкм  1 600 000 галактик, зарегистри …   Википедия

  • ИОАНН ДУНС СКОТ — [лат. Ioannes (Johannes) Duns Scotus] († 8.11.1308, Кёльн), средневек. философ и богослов, католич. священник, член монашеского ордена францисканцев; в католич. Церкви прославлен в лике блаженных (пам. зап. 8 нояб.). Жизнь. Иоанн Дунс Скот. 1473… …   Православная энциклопедия


Поделиться ссылкой на выделенное

Прямая ссылка:
Нажмите правой клавишей мыши и выберите «Копировать ссылку»

We are using cookies for the best presentation of our site. Continuing to use this site, you agree with this.